REGER: Modeling inter-item Relations with Semantic IDs for Generative Recommendation
REGER:用语义ID显式建模物品关系做生成式推荐
🧭 生成式推荐 · Semantic ID 与偏好蒸馏 ★ 深度解读
University of Electronic Science and Technology of China
通过语义邻居生成预训练、SID边界局部注意力与分层偏好蒸馏,显式建模生成式推荐中的物品语义与协同关系
📌 工作参考价值(4 点)
- GSR 语义邻居生成预训练可借鉴:对电商/长尾 item,在 GR 训练前先让 encoder-decoder 从源 item SID 生成 top-K 语义近邻 SID,使 token embedding 与 backbone 继承内容相似性,适合冷启动物品和稀疏交互场景。
- ITSA 的混合注意力值得落地:在历史编码器里保留一部分 global head,同时增加 item-local head,只允许当前 item 与前一 item 的完整 SID 之间 attention,显式建模相邻 item 的定向转移,不增加参数,可迁移到现有 T5/Transformer 编码器。
- HCPD 蒸馏很实用:用线上判别式模型(如双塔或 SASRec)的偏好分,在 SID 前缀树每个合法 next token 上构造条件分布,对 ground-truth 前缀做 KL 蒸馏,能利用候选 item 相对排序信息,比 CE 单点监督更好;训练开销低,推理零额外成本。
- 工程注意点:HCPD 需要在每个 prefix 对 legal tokens 重归一化,避免 full vocabulary 概率干扰;蒸馏权重 λ 与 local/global head 比例建议按数据集调参,Beauty/Sports 约 0.8,Toys 约 1.0。